Tri-PvP: Exposing Modality Bias in Omni-Modal Large Language Models through Perceptual-Propositional Evidence Conflicts
Tri-PvP：通过感知-命题证据冲突暴露全模态大模型的模态偏见
🧭 多模态LLM偏见评估与证据形式解耦
National Taiwan University · NTU AI-CoRE
构建8k三模态冲突基准Tri-PvP，解耦感知与命题证据，揭示OLLM视觉偏见及证据形式不对称
📌 工作参考价值（4 点）
- 在多模态电商商品理解、广告素材审核、语音+图文搜索等场景中，要注意OLLM对视觉感知信号（商品图、视频帧）存在系统性偏好；当图文不一致时，模型可能更信图而忽略文字声明，需在prompt或后处理中显式引入文本证据校验。
- 评测多模态模型时，把证据拆成感知（图片/录音）和命题（文字声明）两类，设计冲突样本分别控制，否则会把证据形式偏见误判为模态偏见；该思路可直接迁移到搜索相关性、商品属性抽取、多模态排序的评估集构建。
- 线性探测显示模态偏见在早期表示层就已可解码，说明仅靠表面prompt或后处理难以根治；在业务中若要对多模态Agent做去偏，应考虑训练阶段或表示层面的干预，而不是只改推理指令。
- 对比解码可部分缓解偏见，可作为多模态生成/审核链路中的工程化尝试；音频通道相比视觉更偏命题信号，在语音交互类Agent设计中可侧重结构化文本而非低层声学特征。